Trương Gia Mô nguyên quán ở Gia Định nhưng sinh quán tại chợ Hương Điểm, làng Tân Hào, huyện Bảo An, tỉnh Vĩnh Long, nay thuộc huyện Giồng Trôm, tỉnh Bến Tre.

Cha của ông là Trương Gia Hội (1822 – 1877), từng làm Tri phủ Hoằng Trị dưới thời Tự Đức, được thăng chức Lang trung bộ Binh, về sau làm Tuần vũ Thuận Khánh (Bình Thuận và Khánh Hòa).

Năm 1867, khi quân Pháp chiếm luôn ba tỉnh miền Tây Nam Kỳ, ông theo cha tỵ địa ở Bình Thuận.

Năm 1877 cha mất, ông sống với mẹ. Năm 1892, đời vua Thành Thái, nhờ cha làm quan nên ông được tập ấm làm thừa phái bộ Công ở Huế. Chính vì có quan tước, cộng với sức học uyên thâm[1] nên nhiều người lầm tưởng, gán cho ông học hàm Tiến sĩ và gọi ông là Nghè Mô.

Năm ngoài 20 tuổi, ông dâng lên vua một bản điều trần xin cải cách 5 việc và xin được sung vào phái đoàn đi Pháp, nhưng cả hai đều không được triều đình chấp nhận.

Bản điều trần gồm 5 việc:

1. Mở rộng trường dạy chữ Pháp ở các tỉnh, dịch sách Pháp và Trung Quốc ra chữ Quốc ngữ để tiện phổ biến, nhằm mở mang dân trí.
2. Chấn hưng công nghệ thực nghiệp, mở rộng việc khai hoang, chăm sóc, chữa bệnh cho dân nghèo.
3. Cách chức các quan lại tham nhũng, sàng lọc những viên chức vô dụng trong bộ máy công quyền.
4. Lập nghị viện, mở báo quán để rộng đường dư luận.
5. Chỉnh đốn hương tục, đẩy mạnh việc giáo hóa trong xã hội, ngăn ngừa sự đồi bại.

Vì vậy, ông từ quan về sống ở miền Nam, giao du với những người như Trần Chánh Chiếu, Nguyễn An Cư, Nguyễn An Khương... để cùng vận động cải cách, canh tân cho nước nhà. Được một thời gian, ông lại trở ra Bình Thuận. Ở nơi ấy, ông cùng Nguyễn Lộ Trạch mưu tính chuyện xuất dương nhưng không thành. Sau khi ông Trạch chết, ông về dạy học ở Tân An (Long An) và đi khắp nơi.

Từ Tân An, ông lại quay về Bình Thuận, ngụ tại làng Hà Thủy-Duồng (xã Chí Công, huyện Tuy Phong, tỉnh Bình Thuận ngày nay).

Năm 1904, Phan Châu Trinh từ quan rồi với bạn là Huỳnh Thúc Kháng, Trần Quý Cáp cùng nhau Nam du vào năm 1905. Khi đến Bình Thuận, Phan Châu Trinh đã kết bạn với Trương Gia Mô rồi cả nhóm cùng với các nhà nho ở đây tổ chức công ty Liên Thành, Trường Dục Thanh để truyền bá việc duy tân, cải cách.[2]

Năm Mậu Thân (1908) một cuộc đấu tranh lớn của nhân dân nổ ra ở Trung kỳ, nhằm chống chính sách xâu thuế của Pháp và Nam triều. Kết cuộc, hàng loạt nhân sĩ bị lưu đày, bị tử hình, bị tù tội. Trong thời điểm đó, Trương Gia Mô cũng bị tù giam ở ngục Khánh Hòa vì tội đã tham gia "đảng kín". Bị giam một thời gian rồi được thả, ông trở lại Bình Thuận khi tuổi đã ngoài bốn mươi.

Năm 1910, một thanh niên tên Nguyễn Tất Thành (sau này là Hồ Chí Minh) cầm thư giới thiệu của cha là Phó bảng Nguyễn Sinh Sắc đến gặp ông ở làng Hà Thủy, tổng Đa Phước, tỉnh Bình Thuận. Được sự gửi gắm của bạn, lại thấy Tất Thành có chí hướng, nên ông viết thư giới thiệu Thành với ông Hồ Tá Bang - một trong các sĩ phu sáng lập viên của Liên Thành Thương Quán và trường Dục Thanh ở Phan Thiết. Sau đó, ông Hồ Tá Bang đã cho người ra đón Nguyễn Tất Thành vào dạy học tại Trường Dục Thanh.

Tháng 3 năm 1911, ông Hồ Tá Bang và Trần Lê Chất đưa Nguyễn Tất Thành vào Sài Gòn để tìm cách sang Pháp.

Trở vào Nam Kỳ, Trương Gia Mô đi khắp miền Tây, liên hệ với nhiều bạn chí sĩ, nhà thơ, bạn cũ như Nguyễn Sinh Sắc, Trần Chánh Chiếu, Nguyễn An Cư, Nguyễn An Khương, Đông Hồ,...

Những năm cuối đời, phần vì tuổi cao, nhiều bệnh, phần bị mật thám theo rình rập, thêm nỗi luôn sống trong tâm trạng phẫn uất của một người bất đắc chí, nên Trương Gia Mô đã tự tìm quên trong men rượu và thuốc phiện. Trong một bài thơ, ông đã viết:

Cuối cùng, vào đêm ngày 2 tháng 11 (âm lịch) năm Kỷ Tỵ (1929),[3] ông đã lao mình từ Pháo đài trên đỉnh núi Sam (Châu Đốc) xuống vực sâu để kết thúc đời mình.

Kể về cái chết của ông, tác giả Liêm Châu cho biết khi vào viếng núi Sam, bất ngờ ông gặp một nông dân tên Nguyễn Văn Cơ (tục gọi Mười Cơ) đang đánh xe bò chở đá. Ông Cơ có mời Trương Gia Mô về nghỉ ở nhà mình. Được năm ba hôm, ông Mô rủ Mười Cơ lên đỉnh núi tham quan. Đến nơi, ông Mô đưa tiền cho Tư Tỏ, một cư dân ở nơi đó, để mua đồ nhắm và rượu. Tàn cuộc, sau khi ai nấy đều đã nằm nghỉ, Trương Gia Mô mặc thêm vài lớp áo, rồi lặng lẽ trèo lên Pháo đài, lao mình xuống các gộp đá tự vẫn.[4]